HDFS HA架构图

1.HA进程: 假设有3台机器:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
hadoop001:ZK    NN ZKFC  JN    DN

hadoop002:ZK NN ZKFC JN DN

hadoop003:ZK JN DN

jounalNode数量布置的多少: 一般根据HDFS请求量 及数据量(一般部署2n+1个)
ZK集群 :部署2n+1 个,奇数, 选举 谁做active standby
生产上:20台节点: 5台
20~100台节点: 7/9/11台
>100台节点: 11台
但是: 不是说zk节点越多越好,如果部署的多,它选举active投票的时间就会长,会导致
对外提供服务特别的慢。

如果公司有几百台节点, 那么zk部署的机器就它一个进程,因为zk进行选举的时候,如果选
举的快慢跟这台机器的繁忙程度有关系,跟进程数也有关系,若果机器过去繁忙,导致zk夯
住了,那么如果这时候NN挂掉了,就会导致standby无法切换成active。

HDFS HA架构流程图:
在这里插入图片描述
流程说明:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
HA是为了解决单点问题
通过JN集群共享状态
通过ZKFC选举active
监控状态,自动备援。
DN: 同时向NN1 NN2发送心跳和块报告。
ACTIVE NN: 操作记录写到自己的editlog
同时写JN集群
接收DN的心跳和块报告
STANDBY NN: 同时接收JN集群的日志,显示读取执行log操作(重演),
使得自己的元数据和active nn节点保持一致。
接收DN的心跳和块报告

JounalNode: 用于active standby nn节点的同步数据
一般部署2n+1

ZKFC: 单独的进程
监控NN监控健康状态
向zk集群定期发送心跳,使得自己可以被选举;
当自己被zk选举为active的时候,zkfc进程通过RPC协议调用使NN节点的状态变为active,
对外提供实时服务,是无感知的。

本文标题:HDFS HA架构图

文章作者:skygzx

发布时间:2019年04月07日 - 12:17

最后更新:2019年04月07日 - 15:20

原始链接:http://yoursite.com/2019/04/07/HDFS HA架构图/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

-------------本文结束感谢您的阅读-------------
0%